<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   时下最火搜索引擎：ElasticSearch详解与优化设计  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://dataunion.org/21168.html",
                  host: "http://dataunion.org",
                  prePath: "http://dataunion.org",
                  scheme: "http",
                  pathBase: "http://dataunion.org/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466457313: Accept with keywords: (title(0.4):社区,时下,优化,数盟,搜索引擎, topn(0.3):社区,数盟,内存,过程,文件,副本,结果,Python,速度,分词,基础架构,文章,情况,文档,排序,数据,节点,建议,用户,词表,分片,磁盘,优化,词典,搜索引擎,参数,官方,集群,时候,分布式).-->
 </head>
 <body onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    时下最火搜索引擎：ElasticSearch详解与优化设计
   </h1>
  </div>
  <div class="container" id="xmain">
   ﻿﻿
   <title>
    时下最火搜索引擎：ElasticSearch详解与优化设计 | 数盟社区
   </title>
   <!-- All in One SEO Pack 2.2.7.6.2 by Michael Torbert of Semper Fi Web Design[32,76] -->
   <!-- /all in one seo pack -->
   <!--
<div align="center">
<a href="http://strata.oreilly.com.cn/hadoop-big-data-cn?cmp=mp-data-confreg-home-stcn16_dataunion_pc" target="_blank"><img src="http://dataunion.org/wp-content/uploads/2016/05/stratabj.jpg"/ ></a>
</div>
-->
   <header id="header-web">
    <div class="header-main">
     <hgroup class="logo">
      <h1>
       <a href="http://dataunion.org/" rel="home" title="数盟社区">
        <img src="http://dataunion.org/wp-content/themes/yzipi/images/logo.png"/>
       </a>
      </h1>
     </hgroup>
     <!--logo-->
     <nav class="header-nav">
      <ul class="menu" id="menu-%e4%b8%bb%e8%8f%9c%e5%8d%95">
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-71" id="menu-item-71">
        <a href="http://dataunion.org/category/events" title="events">
         活动
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-22457" id="menu-item-22457">
          <a href="http://dataunion.org/2016timeline">
           2016档期
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-22459" id="menu-item-22459">
          <a href="http://dataunion.org/category/parterc">
           合作会议
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category current-post-ancestor menu-item-has-children menu-item-20869" id="menu-item-20869">
        <a href="http://dataunion.org/category/tech" title="articles">
         文章
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category current-post-ancestor current-menu-parent current-post-parent menu-item-20867" id="menu-item-20867">
          <a href="http://dataunion.org/category/tech/base" title="base">
           基础架构
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3302" id="menu-item-3302">
          <a href="http://dataunion.org/category/tech/ai" title="ai">
           人工智能
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3303" id="menu-item-3303">
          <a href="http://dataunion.org/category/tech/analysis" title="analysis">
           数据分析
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21920" id="menu-item-21920">
          <a href="http://dataunion.org/category/tech/dm">
           数据挖掘
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3314" id="menu-item-3314">
          <a href="http://dataunion.org/category/tech/viz" title="viz">
           可视化
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-3305" id="menu-item-3305">
          <a href="http://dataunion.org/category/tech/devl" title="devl">
           编程语言
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-20876" id="menu-item-20876">
        <a href="http://dataunion.org/category/industry">
         行业
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-16328" id="menu-item-16328">
          <a href="http://dataunion.org/category/industry/case" title="case">
           行业应用
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-2112" id="menu-item-2112">
          <a href="http://dataunion.org/category/industry/demo" title="demo">
           Demo展示
          </a>
         </li>
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21562" id="menu-item-21562">
          <a href="http://dataunion.org/category/industry/news">
           行业资讯
          </a>
         </li>
        </ul>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-311" id="menu-item-311">
        <a href="http://dataunion.org/category/sources" title="sources">
         资源
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-20870" id="menu-item-20870">
        <a href="http://dataunion.org/category/books" title="book">
         图书
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-21363" id="menu-item-21363">
        <a href="http://dataunion.org/category/training">
         课程
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-has-children menu-item-21853" id="menu-item-21853">
        <a href="http://dataunion.org/category/jobs">
         职位
        </a>
        <ul class="sub-menu">
         <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-22050" id="menu-item-22050">
          <a href="http://dataunion.org/category/career">
           职业规划
          </a>
         </li>
        </ul>
       </li>
      </ul>
     </nav>
     <!--header-nav-->
    </div>
   </header>
   <!--header-web-->
   <div id="main">
    <div id="soutab">
     <form action="http://dataunion.org/" class="search" method="get">
     </form>
    </div>
    <div id="container">
     <nav id="mbx">
      当前位置：
      <a href="http://dataunion.org">
       首页
      </a>
      &gt;
      <a href="http://dataunion.org/category/tech">
       文章
      </a>
      &gt;
      <a href="http://dataunion.org/category/tech/base">
       基础架构
      </a>
      &gt;  正文
     </nav>
     <!--mbx-->
     <article class="content">
      <header align="centre" class="contenttitle">
       <div class="mscc">
        <h1 class="mscctitle">
         <a href="http://dataunion.org/21168.html">
          时下最火搜索引擎：ElasticSearch详解与优化设计
         </a>
        </h1>
        <address class="msccaddress ">
         <em>
          1,909 次阅读 -
         </em>
         <a href="http://dataunion.org/category/tech/base" rel="category tag">
          基础架构
         </a>
        </address>
       </div>
      </header>
      <div class="content-text">
       <section>
        <strong>
         目录
        </strong>
        <p>
        </p>
        <ul class="list-paddingleft-2">
         <li>
          简介
         </li>
         <li>
          概念
         </li>
         <li>
          安装部署
         </li>
         <li>
          ES安装
         </li>
         <li>
          数据索引
         </li>
         <li>
          索引优化
         </li>
         <li>
          内存优化
          <p>
          </p>
         </li>
        </ul>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                1
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             简介
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         ElasticSearch（简 称ES）是一个分布式、Restful的搜索及分析服务器，设计用于分布式计算；能够达到实时搜索，稳定，可靠，快速。和Apache Solr一样，它也是基于Lucence的索引服务器，而ElasticSearch对比Solr的优点在于：
        </p>
        <p>
        </p>
        <ul class="list-paddingleft-2">
         <li>
          轻量级：安装启动方便，下载文件之后一条命令就可以启动。
         </li>
         <li>
          Schema free：可以向服务器提交任意结构的JSON对象，Solr中使用schema.xml指定了索引结构。
         </li>
         <li>
          多索引文件支持：使用不同的index参数就能创建另一个索引文件，Solr中需要另行配置。
         </li>
         <li>
          分布式：Solr Cloud的配置比较复杂。
          <p>
          </p>
         </li>
        </ul>
        <p>
         2013年初，GitHub抛弃了Solr，采取ElasticSearch 来做PB级的搜索。
        </p>
        <p>
        </p>
        <p>
         近 年ElasticSearch发展迅猛，已经超越了其最初的纯搜索引擎的角色，现在已经增加了数据聚合分析（aggregation）和可视化的特性，如 果你有数百万的文档需要通过关键词进行定位时，ElasticSearch肯定是最佳选择。当然，如果你的文档是JSON的，你也可以把 ElasticSearch当作一种“NoSQL数据库”， 应用ElasticSearch数据聚合分析（aggregation）的特性，针对数据进行多维度的分析。
        </p>
        <p>
        </p>
        <p>
         ElasticSearch一些国内外的优秀案例：
        </p>
        <p>
        </p>
        <ul class="list-paddingleft-2">
         <li>
          Github：“GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码”。
         </li>
         <li>
          SoundCloud：“SoundCloud使用ElasticSearch为1.8亿用户提供即时而精准的音乐搜索服务”。
         </li>
         <li>
          百 度：百度目前广泛使用ElasticSearch作为文本数据分析，采集百度所有服务器上的各类指标数据及用户自定义数据，通过对各种数据进行多维分析展 示，辅助定位分析实例异常或业务层面异常。目前覆盖百度内部20多个业务线（包括casio、云分析、网盟、预测、文库、直达号、钱包、风控等），单集群 最大100台机器，200个ES节点，每天导入30TB+数据。
          <p>
          </p>
         </li>
        </ul>
        <h1>
        </h1>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                2
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             概念
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         <strong>
          Cluster和Node
         </strong>
        </p>
        <p>
         ES可以以单点或者集群方式运行，以一个整体对外提供search服务的所有节点组成cluster，组成这个cluster的各个节点叫做node。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Index
         </strong>
        </p>
        <p>
         这是ES存储数据的地方，类似于关系数据库的database。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Shards
         </strong>
        </p>
        <p>
         索引分片，这是ES提供分布式搜索的基础，其含义为将一个完整的index分成若干部分存储在相同或不同的节点上，这些组成index的部分就叫做shard。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Replicas
         </strong>
        </p>
        <p>
         索引副本，ES可以设置多个索引的副本，副本的作用一是提高系统的容错性，当个某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高ES的查询效率，ES会自动对搜索请求进行负载均衡。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Recovery
         </strong>
        </p>
        <p>
         代表数据恢复或叫数据重新分布，ES在有节点加入或退出时会根据机器的负载对索引分片进行重新分配，挂掉的节点重新启动时也会进行数据恢复。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Gateway
         </strong>
        </p>
        <p>
         ES索引快照的存储方式，ES默认是先把索引存放到内存中，当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储，当这个ES集群关闭再重新启动时就会从gateway中读取索引备份数据。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Discovery.zen
         </strong>
        </p>
        <p>
         代表ES的自动发现节点机制，ES是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Transport
         </strong>
        </p>
        <p>
         代表ES内部节点或集群与客户端的交互方式，默认内部是使用tcp协议进行交互，同时它支持http协议（json格式）。
        </p>
        <p>
        </p>
        <h1>
        </h1>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                3
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             安装部署
             <br/>
             <section class="135editor" data-id="45865">
              <section>
              </section>
             </section>
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         ES由java语言实现，运行环境依赖java。ES 1.x版本，官方推荐使用jdk1.7+的环境，建议使用oracle jdk1.8；ES可以去官网下载，本文使用elasticsearch-1.6.0.tar.gz。
        </p>
        <p>
        </p>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                4
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             ES安装
             <br/>
             <section class="135editor" data-id="45865">
              <section>
              </section>
             </section>
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         （1） 解压elasticsearch-1.6.0.tar.gz，sudo tar -zvxf elasticsearch-1.6.0.tar.gz，在当前路径生成目录：elasticsearch-1.6.0；
        </p>
        <p>
        </p>
        <p>
         （2） 配置ES。这里只做最简单的配置，修改ES_HOME/config/elasticsearch.yml文件， 相关配置参数
        </p>
        <p>
        </p>
        <p>
         #集群名称
        </p>
        <p>
         cluster.name: elasticsearch
        </p>
        <p>
         #节点名称
        </p>
        <p>
         node.name: “node1”
        </p>
        <p>
         #节点是否存储数据
        </p>
        <p>
         node.data: true
        </p>
        <p>
         #索引分片数
        </p>
        <p>
         index.number_of_shards: 5
        </p>
        <p>
         #索引副本数
        </p>
        <p>
         index.number_of_replicas: 1
        </p>
        <p>
         #数据目录存放位置
        </p>
        <p>
         path.data: /data/elasticsearch/data
        </p>
        <p>
         #日志数据存放位置
        </p>
        <p>
         path.logs: /data/elasticsearch/log
        </p>
        <p>
         #索引缓存
        </p>
        <p>
         index.cache.field.max_size: 500000
        </p>
        <p>
         #索引缓存过期时间
        </p>
        <p>
         index.cache.field.expire: 5m
        </p>
        <p>
        </p>
        <p>
         （3） 启动ES。进入ES安装目录，执行命令：bin/elasticsearch -d -Xms512m -Xmx512m，然后在浏览器输入
        </p>
        <p>
         http://ip:9200/，查看页面信息，是否正常启动。status=200表示正常启动了。
        </p>
        <p>
        </p>
        <p>
        </p>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                5
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             数据索引
             <br/>
             <section class="135editor" data-id="45865">
              <section>
              </section>
             </section>
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         ES 索引我们可以理解为数据入库的一个过程。我们知道ES是基于Lucene框架的一个分布式检索平台。索引的同样也是基于Lucene创建的，只不过在其上 层做了一些封装。ElasticSearch客户端支持多种语言如PHP、Java、Python、Perl等，下面以Python为例：
        </p>
        <p>
        </p>
        <p>
         <strong>
          一，安装官方提供的Python API
         </strong>
        </p>
        <p>
         &gt;&gt; pip install elasticsearch
        </p>
        <p>
        </p>
        <p>
         <strong>
          二，创建索引
         </strong>
        </p>
        <p>
         调用create或index方法，创建索引。
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTcxY15a1ZemWq4VZbNZxrTqcjpia34K1VHTjwPQBxH7EsPGMEdHcTNicA/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         <strong>
          三，批量录入索引数据
         </strong>
        </p>
        <p>
         ElasticSearch批量索引的命令是bulk，利用Python API提交
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTSAf1K3l6UC0WMDeAyKCRKiayFuBukXdvI6nlHXhKicNff5VLQP27xcicg/0?wx_fmt=png"/>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTbqdYN38RzLG5PHa9Xf8VibukPkFnYB0gwtBicPurrFWgrMxvliaUj9jHg/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         <strong>
          四，数据检索查询
         </strong>
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTEpHricljM75icphNodqicMI9BlW0qickmiasIiaDv12f5vaqNgdLAYia9TZicA/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         <strong>
          五，数据更新、删除
         </strong>
        </p>
        <p>
         对于索引的批量删除和更新操作，对应的文档格式如下，更新文档中的doc节点是必须的。
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRT14MaqLByBn62JOEawRpy3ibBxjOx2cqHJ5N5MQfpYjichgibE5Q6mibSqQ/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         <strong>
          六、常见错误
         </strong>
        </p>
        <ul class="list-paddingleft-2">
         <li>
          SerializationError：JSON数据序列化出错，通常是因为不支持某个节点值的数据类型
         </li>
         <li>
          RequestError：提交数据格式不正确
         </li>
         <li>
          ConflictError：索引ID冲突
         </li>
         <li>
          TransportError：连接无法建立
         </li>
        </ul>
        <p>
        </p>
        <section class="135editor" data-id="45865">
         <section>
          <section class="135editor" data-id="45865">
           <section>
            <section>
             <section data-width="100%">
              <section>
               <span class="autonum" data-original-title="\" title="\">
                6
               </span>
              </section>
              <section>
              </section>
             </section>
            </section>
            <section>
             索引优化
             <br/>
             <section class="135editor" data-id="45865">
              <section>
              </section>
             </section>
            </section>
           </section>
           <section>
           </section>
          </section>
         </section>
        </section>
        <p>
        </p>
        <p>
         ES索引优化主要从两个方面解决问题：
        </p>
        <p>
        </p>
        <p>
         <strong>
          一、索引数据过程
         </strong>
        </p>
        <p>
        </p>
        <p>
         大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化：
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTR3vLnV5CxRtibiaPmBUKrznlHUU1GuSvuTbibtnDnx6B3OO7RfMJtekibw/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         这 两个参数第一是到tranlog数据达到多少条进行平衡，默认为5000，而这个过程相对而言是比较浪费时间和资源的。所以我们可以将这个值调大一些还是 设为-1关闭，进而手动进行tranlog平衡。第二参数是刷新频率，默认为120s是指索引在生命周期内定时刷新，一但有数据进来能refresh像 lucene里面commit,我们知道当数据addDoucment后，还不能检索到要commit之后才能行数据的检索，所以可以将其关闭，在最初索 引完后手动refresh一之，然后将索引setting里面的index.refresh_interval参数按需求进行修改，从而可以提高索引过程 效率。
        </p>
        <p>
        </p>
        <p>
         另外的知道ES索引过程中如果有副本存在，数据也会马上同步到副本中去。我个人建议在索引过程中将副本数设为0，待索引完成后将副本数按需量改回来，这样也可以提高索引效率。
        </p>
        <p>
         “number_of_replicas”: 0
        </p>
        <p>
        </p>
        <p>
         <strong>
          二、检索过程
         </strong>
        </p>
        <p>
        </p>
        <p>
         其实检索速度快度与索引质量有很大的关系。而索引质量的好坏主要与以下几方面有关：
        </p>
        <p>
        </p>
        <p>
         <strong>
          1、分片数
         </strong>
        </p>
        <p>
        </p>
        <p>
         分 片数，与检索速度非常相关的的指标，如果分片数过少或过多都会导致检索比较慢。分片数过多会导致检索时打开比较多的文件别外也会导致多台服务器之间通讯。 而分片数过少会导致单个分片索引过大，所以检索速度慢。基于索引分片数=数据总量/单分片数的计算公式，在确定分片数之前需要进行单服务单索引单分片的测 试，目前我们测试的结果单个分片的内容为10G。
        </p>
        <p>
        </p>
        <p>
         <strong>
          2、副本数
         </strong>
        </p>
        <p>
        </p>
        <p>
         副本数与索引的稳定性有比较大的关系，如果Node在非正常挂了，经常会导致分片丢失，为了保证这些数据的完整性，可以通过副本来解决这个问题。建议在建完索引后在执行Optimize后，马上将副本数调整过来。
        </p>
        <p>
        </p>
        <p>
         <strong>
          3、分词
         </strong>
        </p>
        <p>
        </p>
        <p>
         分 词对于索引的影响可大可小，看自己把握。大家或许认为词库越多，分词效果越好，索引质量越好，其实不然。分词有很多算法，大部分基于词表进行分词。也就是 说词表的大小决定索引大小。所以分词与索引膨涨率有直接关系。词表不应很多，而对文档相关特征性较强的即可。比如论文的数据进行建索引，分词的词表与论文 的特征越相似，词表数量越小，在保证查全查准的情况下，索引的大小可以减少很多。索引大小减少了，那么检索速度也就提高了。
         <br/>
         <strong>
          4、索引段
         </strong>
        </p>
        <p>
        </p>
        <p>
         索 引段即lucene中的segments概念，我们知道ES索引过程中会refresh和tranlog也就是说我们在索引过程中segments number不只一个。而segments number与检索是有直接联系的，segments number越多检索越慢，而将segments numbers 有可能的情况下保证为1，这将可以提高将近一半的检索速度。
        </p>
        <p>
        </p>
        <section class="135editor" data-id="45865">
         <section>
          <section data-id="45865">
           <section>
            <section>
             <section class="135editor" data-id="45865">
              <section>
               <section>
                <section data-width="100%">
                 <section>
                  <span class="autonum" data-original-title="\" title="\">
                   7
                  </span>
                 </section>
                 <section>
                 </section>
                </section>
               </section>
               <section>
                内存优化
                <br/>
                <section class="135editor" data-id="45865">
                 <section>
                 </section>
                </section>
               </section>
              </section>
              <section>
              </section>
             </section>
            </section>
           </section>
          </section>
          <p>
           ES对于内存的消耗，和很多因素相关，诸如数据总量、mapping设置、查询方式、查询频度等等。默认的设置虽开箱即用，但不能适用每一种使用场景。作为ES的开发、运维人员，如果不了解ES对内存使用的一些基本原理，就很难针对特有的应用场景，有效的测试、规划和管理集群，从而踩到各种坑，被各种问题挫败。
          </p>
         </section>
        </section>
        <p>
        </p>
        <section class="135editor" data-id="41173">
         <h2>
          <span class="autonum" data-original-title="\" title="\">
           1
          </span>
          <strong class="135brush" data-brushtype="text">
           要理解ES如何使用内存，先要尊重下面两个基本事实：
          </strong>
         </h2>
         <section>
         </section>
        </section>
        <p>
        </p>
        <p>
         <strong>
          ES是JAVA应用
         </strong>
        </p>
        <p>
        </p>
        <p>
         首 先，作为一个JAVA应用，就脱离不开JVM和GC。很多人上手ES的时候，对GC一点概念都没有就去网上抄各种JVM“优化”参数，却仍然被heap不 够用，内存溢出这样的问题搞得焦头烂额。即使对于JVM GC机制不够熟悉，头脑里还是需要有这么一个基本概念: 应用层面生成大量长生命周期的对象，是给heap造成压力的主要原因，例如读取一大片数据在内存中进行排序，或者在heap内部建cache缓存大量数 据。如果GC释放的空间有限，而应用层面持续大量申请新对象，GC频度就开始上升，同时会消耗掉很多CPU时间。严重时可能恶性循环，导致整个集群停工。 因此在使用ES的过程中，要知道哪些设置和操作容易造成以上问题，有针对性的予以规避。
        </p>
        <p>
        </p>
        <p>
         <strong>
          底层存储引擎是基于Lucene的
         </strong>
        </p>
        <p>
        </p>
        <p>
         Lucene 的倒排索引(Inverted Index)是先在内存里生成，然后定期以段文件(segment file)的形式刷到磁盘的。每个段实际就是一个完整的倒排索引，并且一旦写到磁盘上就不会做修改。 API层面的文档更新和删除实际上是增量写入的一种特殊文档，会保存在新的段里。不变的段文件易于被操作系统cache，热数据几乎等效于内存访问。
        </p>
        <p>
        </p>
        <p>
         基于以上2个基本事实，我们不难理解，为何官方建议的heap size不要超过系统可用内存的一半。heap以外的内存并不会被浪费，操作系统会很开心的利用他们来cache被用读取过的段文件。
        </p>
        <p>
        </p>
        <p>
         Heap 分配多少合适？遵从官方建议就没错。 不要超过系统可用内存的一半，并且不要超过32GB。JVM参数呢？对于初级用户来说，并不需要做特别调整，仍然遵从官方的建议，将xms和xmx设置成 和heap一样大小，避免动态分配heap size就好了。虽然有针对性的调整JVM参数可以带来些许GC效率的提升，当有一些“坏”用例的时候，这些调整并不会有什么魔法效果帮你减轻heap压 力，甚至可能让问题更糟糕。
        </p>
        <p>
        </p>
        <section class="135editor" data-id="41173">
         <h2>
          <span class="autonum" data-original-title="\" title="\">
           2
          </span>
          <strong class="135brush" data-brushtype="text">
           ES的heap是如何被瓜分掉的?
          </strong>
         </h2>
         <section>
         </section>
        </section>
        <p>
        </p>
        <p>
         以下分别做解读几个我知道的内存消耗大户：
        </p>
        <p>
        </p>
        <p>
         <strong>
          Segment Memory
         </strong>
        </p>
        <p>
        </p>
        <p>
         Segment 不是file吗？segment memory又是什么？前面提到过，一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典 (Term Dictionary)到文档列表(Postings List)的映射关系，快速做查询的。 由于词典的size会很大，全部装载到heap里不现实，因此Lucene为词典做了一层前缀索引(Term Index)，这个索引在Lucene4.0以后采用的数据结构是FST (Finite State Transducer)。 这种数据结构占用空间很小，Lucene打开索引的时候将其全量装载到内存中，加快磁盘上词典查询速度的同时减少随机磁盘访问次数。
         <br/>
         下面是词典索引和词典主存储之间的一个对应关系图:
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRT22ZK2QLmfjxvL9Etlel9b8QfpdWVsJ4yPg4J6le08LZnGiad6HE3lGg/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         说 了这么多，要传达的一个意思就是，ES的data node存储数据并非只是耗费磁盘空间的，为了加速数据的访问，每个segment都有会一些索引数据驻留在heap里。因此segment越多，瓜分掉 的heap也越多，并且这部分heap是无法被GC掉的！ 理解这点对于监控和管理集群容量很重要，当一个node的segment memory占用过多的时候，就需要考虑删除、归档数据，或者扩容了。
        </p>
        <p>
        </p>
        <p>
         怎么知道segment memory占用情况呢?  CAT API可以给出答案。
         <br/>
         1.  查看一个索引所有segment的memory占用情况：
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTTEOX7UVBf3yCyyy1jpavtpHo7M60IXeiaC151sia9fxYiaXkp4x8fWHrQ/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         2.  查看一个node上所有segment占用的memory总和:
        </p>
        <p>
        </p>
        <p>
         <img src="https://mmbiz.qlogo.cn/mmbiz/tibrg3AoIJTu9w2wibOONJ2fMW5F9ibVibRTckTcdxibWRonXRAkNbmGZNvAnpibOYkrX3tEoD6kFO7GxHJpQ0RUdl6g/0?wx_fmt=png"/>
        </p>
        <p>
        </p>
        <p>
         那么有哪些途径减少data node上的segment memory占用呢？ 总结起来有三种方法：
        </p>
        <p>
        </p>
        <ol class="list-paddingleft-2">
         <li>
          删除不用的索引。
         </li>
         <li>
          关闭索引 （文件仍然存在于磁盘，只是释放掉内存）。需要的时候可以重新打开。
         </li>
         <li>
          定期对不再更新的索引做optimize (ES2.0以后更改为force merge api)。这Optimze的实质是对segment file强制做合并，可以节省大量的segment memory。
         </li>
        </ol>
        <p>
        </p>
        <p>
         <strong>
          Filter Cache
         </strong>
        </p>
        <p>
        </p>
        <p>
         Filter cache是用来缓存使用过的filter的结果集的，需要注意的是这个缓存也是常驻heap，无法GC的。默认的10% heap size设置工作得够好了，如果实际使用中heap没什么压力的情况下，才考虑加大这个设置。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Field Data cache
         </strong>
        </p>
        <p>
        </p>
        <p>
         对 搜索结果做排序或者聚合操作，需要将倒排索引里的数据进行解析，然后进行一次倒排。在有大量排序、数据聚合的应用场景，可以说field data cache是性能和稳定性的杀手。这个过程非常耗费时间，因此ES 2.0以前的版本主要依赖这个cache缓存已经计算过的数据，提升性能。但是由于heap空间有限，当遇到用户对海量数据做计算的时候，就很容易导致 heap吃紧，集群频繁GC，根本无法完成计算过程。 ES2.0以后，正式默认启用Doc Values特性(1.x需要手动更改mapping开启)，将field data在indexing time构建在磁盘上，经过一系列优化，可以达到比之前采用field data cache机制更好的性能。因此需要限制对field data cache的使用，最好是完全不用，可以极大释放heap压力。这里需要注意的是，排序、聚合字段必须为not analyzed。 设想如果有一个字段是analyzed过的，排序的实际对象其实是词典，在数据量很大情况下这种情况非常致命。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Bulk Queue
         </strong>
        </p>
        <p>
        </p>
        <p>
         Bulk Queue是做什么用的？当所有的bulk thread都在忙，无法响应新的bulk request的时候，将request在内存里排列起来，然后慢慢清掉。一般来说，Bulk queue不会消耗很多的heap，但是见过一些用户为了提高bulk的速度，客户端设置了很大的并发量，并且将bulk Queue设置到不可思议的大，比如好几千。这在应对短暂的请求爆发的时候有用，但是如果集群本身索引速度一直跟不上，设置的好几千的queue都满了会 是什么状况呢？ 取决于一个bulk的数据量大小，乘上queue的大小，heap很有可能就不够用，内存溢出了。一般来说官方默认的thread pool设置已经能很好的工作了，建议不要随意去“调优”相关的设置，很多时候都是适得其反的效果。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Indexing Buffer
         </strong>
        </p>
        <p>
        </p>
        <p>
         Indexing Buffer是用来缓存新数据，当其满了或者refresh/flush interval到了，就会以segment file的形式写入到磁盘。 这个参数的默认值是10% heap size。根据经验，这个默认值也能够很好的工作，应对很大的索引吞吐量。 但有些用户认为这个buffer越大吞吐量越高，因此见过有用户将其设置为40%的。到了极端的情况，写入速度很高的时候，40%都被占用，导致OOM。
        </p>
        <p>
        </p>
        <p>
         <strong>
          Cluster State Buffer
         </strong>
        </p>
        <p>
        </p>
        <p>
         ES 被设计成每个Node都可以响应用户的api请求，因此每个Node的内存里都包含有一份集群状态的拷贝。这个Cluster state包含诸如集群有多少个Node，多少个index，每个index的mapping是什么？有少shard，每个shard的分配情况等等 (ES有各类stats api获取这类数据)。 在一个规模很大的集群，这个状态信息可能会非常大的，耗用的内存空间就不可忽视了。并且在ES2.0之前的版本，state的更新是由Master Node做完以后全量散播到其他结点的。 频繁的状态更新都有可能给heap带来压力。 在超大规模集群的情况下，可以考虑分集群并通过tribe node连接做到对用户api的透明，这样可以保证每个集群里的state信息不会膨胀得过大。
        </p>
        <p>
        </p>
        <p>
         <strong>
          超大搜索聚合结果集的fetch
         </strong>
        </p>
        <p>
        </p>
        <p>
         ES 是分布式搜索引擎，搜索和聚合计算除了在各个data node并行计算以外，还需要将结果返回给汇总节点进行汇总和排序后再返回。无论是搜索，还是聚合，如果返回结果的size设置过大，都会给heap造成 很大的压力，特别是数据汇聚节点。超大的size多数情况下都是用户用例不对，比如本来是想计算cardinality，却用了terms aggregation + size:0这样的方式; 对大结果集做深度分页；一次性拉取全量数据等等。
        </p>
        <p>
        </p>
        <p>
         在开发与维护过程中我们总结出以下优化建议：
        </p>
        <p>
        </p>
        <ol class="list-paddingleft-2">
         <li>
          尽量运行在Sun/Oracle JDK1.7以上环境中，低版本的jdk容易出现莫名的bug，ES性能体现在在分布式计算中，一个节点是不足以测试出其性能，一个生产系统至少在三个节点以上。
         </li>
         <li>
          倒排词典的索引需要常驻内存，无法GC，需要监控data node上segment memory增长趋势。
         </li>
         <li>
          根据机器数，磁盘数，索引大小等硬件环境，根据测试结果，设置最优的分片数和备份数，单个分片最好不超过10GB，定期删除不用的索引，做好冷数据的迁移。
         </li>
         <li>
          保守配置内存限制参数，尽量使用doc value存储以减少内存消耗，查询时限制size、from参数。
         </li>
         <li>
          如果不使用_all字段最好关闭这个属性，否则在创建索引和增大索引大小的时候会使用额外更多的CPU，如果你不受限CPU计算能力可以选择压缩文档的_source。这实际上就是整行日志，所以开启压缩可以减小索引大小。
         </li>
         <li>
          避免返回大量结果集的搜索与聚合。缺失需要大量拉取数据可以采用scan &amp; scroll api来实现。
         </li>
         <li>
          熟悉各类缓存作用，如field cache, filter cache, indexing cache, bulk queue等等，要设置合理的大小，并且要应该根据最坏的情况来看heap是否够用。
         </li>
         <li>
          必须结合实际应用场景，并对集群使用情况做持续的监控。
         </li>
        </ol>
        <p>
         本文转载自开源技术社区
        </p>
       </section>
      </div>
      <div>
       <strong>
        注：转载文章均来自于公开网络，仅供学习使用，不会用于任何商业用途，如果侵犯到原作者的权益，请您与我们联系删除或者授权事宜，联系邮箱：contact@dataunion.org。转载数盟网站文章请注明原文章作者，否则产生的任何版权纠纷与数盟无关。
       </strong>
      </div>
      <!--content_text-->
      <div class="fenxian">
       <!-- JiaThis Button BEGIN -->
       <div class="jiathis_style_32x32">
        <p class="jiathis_button_weixin">
        </p>
        <p class="jiathis_button_tsina">
        </p>
        <p class="jiathis_button_qzone">
        </p>
        <p class="jiathis_button_cqq">
        </p>
        <p class="jiathis_button_tumblr">
        </p>
        <a class="jiathis jiathis_txt jtico jtico_jiathis" href="http://www.jiathis.com/share" target="_blank">
        </a>
        <p class="jiathis_counter_style">
        </p>
       </div>
       <!-- JiaThis Button END -->
      </div>
     </article>
     <!--content-->
     <!--相关文章-->
     <div class="xianguan">
      <div class="xianguantitle">
       相关文章！
      </div>
      <ul class="pic">
       <li>
        <a href="http://dataunion.org/24670.html">
         <img src="http://dataunion.org/wp-content/uploads/2016/03/20141222134630106-300x164.png"/>
        </a>
        <a class="link" href="http://dataunion.org/24670.html" rel="bookmark" title="Apache Spark 不过时的六大理由">
         Apache Spark 不过时的六大理由
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/24558.html">
         <img src="http://dataunion.org/wp-content/uploads/2016/06/wKiom1dcvqDBYzojAAF3j3hfL_s877.jpg-wh_651x-s_1673119543-300x197.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/24558.html" rel="bookmark" title="实现R与Hadoop联合作业的三种方法">
         实现R与Hadoop联合作业的三种方法
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/24454.html">
         <img src="http://dataunion.org/wp-content/uploads/2016/06/234040u557x77z325w2g3o-267x200.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/24454.html" rel="bookmark" title="LinkedIn 开源其分布式对象存储系统 Ambry">
         LinkedIn 开源其分布式对象存储系统 Ambry
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/24349.html">
         <img src="http://dataunion.org/wp-content/uploads/2016/05/20150402110749389-249x200.jpg"/>
        </a>
        <a class="link" href="http://dataunion.org/24349.html" rel="bookmark" title="生活处处皆学问，我从星巴克咖啡学到的5点架构经验">
         生活处处皆学问，我从星巴克咖啡学到的5点架构经验
        </a>
       </li>
      </ul>
     </div>
     <!--相关文章-->
     <div class="comment" id="comments">
      <!-- You can start editing here. -->
      <!-- If comments are open, but there are no comments. -->
      <div class="title">
       期待你一针见血的评论，Come on！
      </div>
      <div id="respond">
       <p>
        不用想啦，马上
        <a href="http://dataunion.org/wp-login.php?redirect_to=http%3A%2F%2Fdataunion.org%2F21168.html">
         "登录"
        </a>
        发表自已的想法.
       </p>
      </div>
     </div>
     <!-- .nav-single -->
    </div>
    <!--Container End-->
    <aside id="sitebar">
     <div class="sitebar_list2">
      <div class="wptag">
       <span class="tagtitle">
        热门标签+
       </span>
       <div class="tagg">
        <ul class="menu" id="menu-%e5%8f%8b%e6%83%85%e9%93%be%e6%8e%a5">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-1605" id="menu-item-1605">
          <a href="http://taidizh.com/">
           泰迪智慧
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-20884" id="menu-item-20884">
          <a href="http://www.transwarp.cn/">
           星环科技
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-3538" id="menu-item-3538">
          <a href="http://datall.org/">
           珈和遥感
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-20888" id="menu-item-20888">
          <a href="http://www.chinahadoop.cn/">
           小象学院
          </a>
         </li>
        </ul>
       </div>
      </div>
     </div>
     <div class="sitebar_list">
      <div class="textwidget">
       <div align="center">
        <a href="http://study.163.com/course/courseMain.htm?courseId=991022" target="_blank">
         <img src="http://dataunion.org/wp-content/uploads/2016/03/dv.jpg"/>
        </a>
       </div>
      </div>
     </div>
     <div class="sitebar_list">
      <h4 class="sitebar_title">
       文章分类
      </h4>
      <div class="tagcloud">
       <a class="tag-link-44" href="http://dataunion.org/category/industry/demo" style="font-size: 10.204724409449pt;" title="4个话题">
        Demo展示
       </a>
       <a class="tag-link-31" href="http://dataunion.org/category/experts" style="font-size: 15.826771653543pt;" title="52个话题">
        专家团队
       </a>
       <a class="tag-link-870" href="http://dataunion.org/category/tech/ai" style="font-size: 19.795275590551pt;" title="273个话题">
        人工智能
       </a>
       <a class="tag-link-488" href="http://dataunion.org/category/%e5%8a%a0%e5%85%a5%e6%95%b0%e7%9b%9f" style="font-size: 8pt;" title="1个话题">
        加入数盟
       </a>
       <a class="tag-link-869" href="http://dataunion.org/category/tech/viz" style="font-size: 17.204724409449pt;" title="93个话题">
        可视化
       </a>
       <a class="tag-link-30" href="http://dataunion.org/category/partners" style="font-size: 10.645669291339pt;" title="5个话题">
        合作伙伴
       </a>
       <a class="tag-link-889" href="http://dataunion.org/category/parterc" style="font-size: 11.582677165354pt;" title="8个话题">
        合作会议
       </a>
       <a class="tag-link-104" href="http://dataunion.org/category/books" style="font-size: 12.96062992126pt;" title="15个话题">
        图书
       </a>
       <a class="tag-link-220" href="http://dataunion.org/category/tech/base" style="font-size: 19.850393700787pt;" title="281个话题">
        基础架构
       </a>
       <a class="tag-link-219" href="http://dataunion.org/category/tech/analysis" style="font-size: 19.409448818898pt;" title="232个话题">
        数据分析
       </a>
       <a class="tag-link-887" href="http://dataunion.org/category/tech/dm" style="font-size: 13.291338582677pt;" title="17个话题">
        数据挖掘
       </a>
       <a class="tag-link-34" href="http://dataunion.org/category/tech" style="font-size: 20.732283464567pt;" title="404个话题">
        文章
       </a>
       <a class="tag-link-1" href="http://dataunion.org/category/uncategorized" style="font-size: 22pt;" title="693个话题">
        未分类
       </a>
       <a class="tag-link-4" href="http://dataunion.org/category/events" style="font-size: 14.503937007874pt;" title="29个话题">
        活动
       </a>
       <a class="tag-link-890" href="http://dataunion.org/category/tech/%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0" style="font-size: 10.204724409449pt;" title="4个话题">
        深度学习
       </a>
       <a class="tag-link-221" href="http://dataunion.org/category/tech/devl" style="font-size: 18.968503937008pt;" title="193个话题">
        编程语言
       </a>
       <a class="tag-link-888" href="http://dataunion.org/category/career" style="font-size: 15.661417322835pt;" title="48个话题">
        职业规划
       </a>
       <a class="tag-link-5" href="http://dataunion.org/category/jobs" style="font-size: 14.11811023622pt;" title="25个话题">
        职位
       </a>
       <a class="tag-link-871" href="http://dataunion.org/category/industry" style="font-size: 15.716535433071pt;" title="49个话题">
        行业
       </a>
       <a class="tag-link-613" href="http://dataunion.org/category/industry/case" style="font-size: 16.984251968504pt;" title="84个话题">
        行业应用
       </a>
       <a class="tag-link-885" href="http://dataunion.org/category/industry/news" style="font-size: 17.425196850394pt;" title="102个话题">
        行业资讯
       </a>
       <a class="tag-link-10" href="http://dataunion.org/category/training" style="font-size: 14.228346456693pt;" title="26个话题">
        课程
       </a>
       <a class="tag-link-16" href="http://dataunion.org/category/sources" style="font-size: 15.661417322835pt;" title="48个话题">
        资源
       </a>
      </div>
     </div>
     <div class="sitebar_list">
      <h4 class="sitebar_title">
       功能
      </h4>
      <ul>
       <li>
        <a href="http://dataunion.org/wp-login.php?action=register">
         注册
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/wp-login.php">
         登录
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/feed">
         文章
         <abbr title="Really Simple Syndication">
          RSS
         </abbr>
        </a>
       </li>
       <li>
        <a href="http://dataunion.org/comments/feed">
         评论
         <abbr title="Really Simple Syndication">
          RSS
         </abbr>
        </a>
       </li>
       <li>
        <a href="https://cn.wordpress.org/" title="基于WordPress，一个优美、先进的个人信息发布平台。">
         WordPress.org
        </a>
       </li>
      </ul>
     </div>
    </aside>
    <div class="clear">
    </div>
   </div>
   <!--main-->
   ﻿
   <footer id="dibu">
    <div class="about">
     <div class="right">
      <ul class="menu" id="menu-%e5%ba%95%e9%83%a8%e8%8f%9c%e5%8d%95">
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-18024" id="menu-item-18024">
        <a href="http://dataunion.org/category/partners">
         合作伙伴
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-20881" id="menu-item-20881">
        <a href="http://dataunion.org/contribute">
         文章投稿
        </a>
       </li>
       <li class="menu-item menu-item-type-taxonomy menu-item-object-category menu-item-20872" id="menu-item-20872">
        <a href="http://dataunion.org/category/%e5%8a%a0%e5%85%a5%e6%95%b0%e7%9b%9f">
         加入数盟
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-22441" id="menu-item-22441">
        <a href="http://dataunion.org/f-links">
         友情链接
        </a>
       </li>
       <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-20874" id="menu-item-20874">
        <a href="http://dataunion.org/aboutus">
         关于数盟
        </a>
       </li>
      </ul>
      <p class="banquan">
       数盟社区        ，
        做最棒的数据科学社区
      </p>
     </div>
     <div class="left">
      <ul class="bottomlist">
       <li>
        <a href="http://weibo.com/DataScientistUnion  " target="_blank" 　title="">
         <img src="http://dataunion.org/wp-content/themes/yzipi/images/weibo.png"/>
        </a>
       </li>
       <li>
        <a class="cd-popup-trigger" href="http://dataunion.org/21168.html#0">
         <img src="http://dataunion.org/wp-content/themes/yzipi/images/weixin.png"/>
        </a>
       </li>
      </ul>
      <div class="cd-popup">
       <div class="cd-popup-container">
        <h1>
         扫描二维码,加微信公众号
        </h1>
        <img src="http://dataunion.org/wp-content/themes/yzipi/images/2014-12-06-1515289049.png"/>
        <a class="cd-popup-close" href="http://dataunion.org/21168.html">
        </a>
       </div>
       <!-- cd-popup-container -->
      </div>
      <!-- cd-popup -->
     </div>
    </div>
    <!--about-->
    <div class="bottom">
     <a href="http://dataunion.org/">
      数盟社区
     </a>
     <a href="http://www.miitbeian.gov.cn/" rel="external nofollow" target="_blank">
      京ICP备14026740号
     </a>
     联系我们：
     <a href="mailto:contact@dataunion.org" target="_blank">
      contact@dataunion.org
     </a>
     <div class="tongji">
     </div>
     <!--bottom-->
     <div class="scroll" id="scroll" style="display:none;">
      ︿
     </div>
    </div>
   </footer>
   <!--dibu-->
  </div>
 </body>
</html>